Semasa belajar di Sekolah Umum Bachang, bakatnya dalam bidang muzik bermula apabila beliau diberi tugasan oleh gurunya untuk mengetuai nyanyian lagu kebangsaan, "Negaraku".[1][3][4]

Pada tahun 1969 di usia 22 tahun, Rahim dinobatkan sebagai Johan Bintang Lagu Melayu Asli Kebangsaan kawasan selatan. Album pertama beliau ialah hasil paduan suara bersama S. Roha dan diterbitkan pada tahun yang sama. Antara lagu popular dari album itu ialah "Kasih Berpadu" dan "Jangan Lupakan Daku". Rahim juga pernah berduet dengan Rosiah Chik, Rafeah Buang, Kamariah Noor dan Yusni Hamid.[1][4]

Pada tahun 1980, beliau dinobatkan sebagai Juara Kebangsaan Dendang Rakyat. Beliau pernah bertugas dengan Jabatan Kebudayaan Negeri Melaka, Kompleks Budaya Negara, Jabatan Seni Persembahan (Tradisional) Petronas dan Majlis Perbandaran Subang Jaya (MBSA). Beliau telah berjaya membawa irama lagu asli ini hingga ke peringkat antarabangsa, ini terbukti apabila Rahim telah membuat persembahan di beberapa negara Eropah, Australia, Fiji dan Jepun sekitar 1990.[1]

Pada tahun 1996, beliau bertugas sebagai tenaga pengajar bagi Akademi Seni Budaya dan Warisan Kebangsaan (ASWARA) sejak serta sebagai perunding muzik tradisional. Sepanjang berkhidmat di ASWARA, beliau telah banyak melakukan pemuliharaan terhadap irama lagu Melayu Asli. Rahim turut terlibat dengan beberapa bengkel yang berkaitan dengan seni lagu Melayu yang diadakan di seluruh negara selain dilantik menjadi juri bagi Pertandingan Lagu Melayu Asli di peringkat negeri mahupun kebangsaan.[1]

Di awal penglibatannya dalam bidang muzik, beliau telah menubuhkan beberapa kumpulan muzik Melayu Asli termasuk Rahim Jantan dan Rakan-rakan dan Kumpulan Senandung Melayu. Rahim juga telah menubuhkan kumpulan Rahim dan Anak-anak yang turut dianggotai oleh beberapa rakan seperjuangan.[1]